作者安装 flink-1.15.1后，start-cluster.sh启动，发现浏览器连不上FlinkWebUI的8081端口。问题排查：1.win+R，输入cmd，检查宿主机能否ping通虚拟机，发现能ping通。MicrosoftWindows[版本10.0.19044.1889](c)MicrosoftCorporation。保留所有权利。C:\Users\JKing>ping192.168.137.4正在Ping192.168.137.4具有32字节的数据:来自192.168.137.4的回复:字节=32时间2.检查是否有flink以外的任务占用8081端口，发现没被占用，是flink
通过自定义注解的形式，对JdbcSink进行封装，支持自动建表、自动拼接insert语句主类packagecn.chinaunicom.sdsi.flink.security.sink;importcn.chinaunicom.sdsi.flink.security.anno.SecurityField;importcn.chinaunicom.sdsi.flink.security.anno.SecurityTable;importcn.chinaunicom.sdsi.flink.security.config.Constant;importcn.chinaunicom.sdsi.flin
在flinkcdc同步数据时，基于sql的实现方式中发现了作业DAG有个SinkMaterializer算子，而且检查checkpoint历史时发现该算子state越来越大，有必要搞清楚为什么会多了这个算子，作用又是什么。通过算子名称定位到了源码为类org.apache.flink.table.runtime.operators.sink.SinkUpsertMaterializer,这个算子将输入的记录以upsertkey作区分保存到state中，并为下游算子提供一下upsert视图。Anoperatorthatmaintainsincomingrecordsinstatecorrespon
🍅程序员小王的博客：程序员小王的博客🍅欢迎点赞👍收藏⭐留言📝🍅如有编辑错误联系作者，如果有比较好的文章欢迎分享给我，我会取其精华去其糟粕前言这篇博客主要就是总结了各种flink部署方法及部署中出现的一些问题首先我进行了flink单机部署，个人建议不管是学习还是开发尽量不使用然后开始了flink自带集群部署，部署在三台服务器上，资源管理由flink集群自己管理，然后为了解决集群的单点故障问题，使用zookeeper监听事件，实现独立高可用集群，防止集群的单点故障，推荐这种集群可以部署在开发环境中测试使用最后一种就是flinkonyarn:把资源管理交给yarn实现，计算机资源统一由HaoopYA
🍅程序员小王的博客：程序员小王的博客🍅欢迎点赞👍收藏⭐留言📝🍅如有编辑错误联系作者，如果有比较好的文章欢迎分享给我，我会取其精华去其糟粕前言这篇博客主要就是总结了各种flink部署方法及部署中出现的一些问题首先我进行了flink单机部署，个人建议不管是学习还是开发尽量不使用然后开始了flink自带集群部署，部署在三台服务器上，资源管理由flink集群自己管理，然后为了解决集群的单点故障问题，使用zookeeper监听事件，实现独立高可用集群，防止集群的单点故障，推荐这种集群可以部署在开发环境中测试使用最后一种就是flinkonyarn:把资源管理交给yarn实现，计算机资源统一由HaoopYA
前言flink安装部署有三种方式local:单机模式，尽量不使用standalone:flink自带集群，资源管理由flink集群管理，开发环境测试使用，不需要hadoop集群flinkonyarn:把资源管理交给yarn实现，计算机资源统一由HaoopYARN管理，生产环境测试，需要先启动hadoop集群。（这里分为可以继续细分三种方式1.sessionmode长久启动一个flink集群接收job,main方法在客户端执行2.per-jobmode每个任务启动一个flink集群,main方法在客户端执行3.applicationmodeApplication模式为每个提交的应用程序创建一个集
一、版本doris：doris-1.2.3-rc02flink：flink1.4.6dinky：0.7.2jdk：1.8.0_191mysql：5.7二、安装doris官网下载地址：https://archive.apache.org/dist/doris/1.2/1.2.3-rc02/ #doris单机部署#创建doris目录mkdir/opt/module/doristarzxvfapache-doris-fe-1.2.3-bin-x86_64.tar.xz-C/opt/module/doristarzxvfapache-doris-be-1.2.3-bin-x86_64.tar.xz-C
今天这篇blog主要记录使用flink-sql对kafka中的数据进行过滤。以前对kafka数据进行实时处理时都是使用java来进行flink开发，需要创建一个工程，并且打成jar包再提交，流程固定但对于简单任务来说还是比较繁琐的。今天我们要对logstash采集到kafka中的数据进行过滤筛选，将筛选后的数据发送给另外一个kafkatopic，由于处理逻辑比较简单，使用flink自带的sql函数就可以搞定，所以我们今天就用flink-sql来解决这问题。问题描述我们需要筛选出ServiceA、ServiceB、ServiceC、ServiceD四个类打印出来的日志信息，并将目标信息发送到另外
flink实时计算任务可以从以下四个方面进行优化内存优化：Flink任务需要大量的内存来存储数据和状态信息。因此，我们需要尽可能地减少内存的使用量。可以通过以下几种方式来实现：使用更小的窗口大小：窗口大小越大，需要使用的内存就越多。因此，我们可以使用更小的窗口大小来减少内存的使用量。使用更小的数据类型：Flink支持多种数据类型，包括整数、浮点数、字符串等。如果我们只需要使用部分数据类型，那么就可以使用更小的数据类型来减少内存的使用量。使用更小的并行度：并行度越大，需要使用的内存就越多。因此，我们可以使用更小的并行度来减少内存的使用量。CPU优化：Flink任务需要大量的CPU资源来执行计算操
当创建一个Flink任务后，该任务可能会经历多种状态。目前Flink给任务共定义了9种状态，包括：Created，Running，Finished，Cancelling，Canceled，Restarting，Failing，Failed，Suspended。下面这张图详细展示了一个Job可能会经历的所有状态。最简单的一种状态就是：作业启动时处于Created状态，任务启动后处于Running状态，当所有运行的task都进入了最终状态，任务会自动切换到Finished状态，这是一个正常job从启动到停止的正常流程，但再实际生产环境，可能也会出现其他一些情况。如果任务在启动后，因为网络原因或者
